大量标记的医学图像对于准确检测异常是必不可少的，但是手动注释是劳动密集型且耗时的。自我监督学习（SSL）是一种培训方法，可以在没有手动注释的情况下学习特定于数据的功能。在医学图像异常检测中已采用了几种基于SSL的模型。这些SSL方法有效地学习了几个特定特定图像的表示形式，例如自然和工业产品图像。但是，由于需要医学专业知识，典型的基于SSL的模型在医疗图像异常检测中效率低下。我们提出了一个基于SSL的模型，该模型可实现基于解剖结构的无监督异常检测（UAD）。该模型采用解剖学意识粘贴（Anatpaste）增强工具。 Anatpaste采用基于阈值的肺部分割借口任务来在正常的胸部X光片上创建异常，用于模型预处理。这些异常类似于实际异常，并帮助模型识别它们。我们在三个OpenSource胸部X光片数据集上评估了我们的模型。我们的模型在曲线（AUC）下展示了92.1％，78.7％和81.9％的模型，在现有UAD模型中最高。这是第一个使用解剖信息作为借口任务的SSL模型。 Anatpaste可以应用于各种深度学习模型和下游任务。它可以通过修复适当的细分来用于其他方式。我们的代码可在以下网址公开获取：https：//github.com/jun-sato/anatpaste。

For arbitrary two probability measures on real d-space with given means and variances (covariance matrices), we provide lower bounds for their total variation distance.

自动故障检测是许多运动的主要挑战。在比赛中，裁判根据规则在视觉上判断缺点。因此，在判断时确保客观性和公平性很重要。为了解决这个问题，一些研究试图使用传感器和机器学习来自动检测故障。但是，与传感器的附件和设备（例如高速摄像头）相关的问题，这些问题与裁判的视觉判断以及故障检测模型的可解释性相抵触。在这项研究中，我们提出了一个用于非接触测量的断层检测系统。我们使用了根据多个合格裁判的判断进行训练的姿势估计和机器学习模型，以实现公平的错误判断。我们使用智能手机视频在包括东京奥运会的奖牌获得者中，使用了正常比赛的智能手机视频，并有意地走路。验证结果表明，所提出的系统的平均准确度超过90％。我们还透露，机器学习模型根据种族步行规则检测到故障。此外，奖牌获得者的故意故障步行运动与大学步行者不同。这一发现符合更通用的故障检测模型的实现。该代码和数据可在https://github.com/szucchini/racewalk-aijudge上获得。

自我监督学习（SSL）被视为一种非常有前途的方法，对于下游任务的几个语音，高性能。由于SSL模型的参数通常是如此之大，以至于训练和推理需要大量的内存和计算成本，因此希望通过应用诸如知识蒸馏（KD）等压缩方法来生成紧凑的SSL模型，而无需显着性能降解。尽管KD方法能够缩小SSL模型结构的深度和/或宽度，但几乎没有研究如何改变深度和宽度对小脚印模型的内部表示。本文提供了一项解决问题的经验研究。我们在改变结构和KD方法的同时研究了Superb的性能，以保持参数恒定的数量；这使我们能够分析通过改变模型体系结构引入的表示的贡献。实验表明，一定深度对于准确地求解面向内容的任务（例如自动语音识别）至关重要，而在几个面向讲话者的任务上（例如，说话者的身份），必须进行一定宽度对于实现高性能。基于这些观察结果，我们确定了与以前的研究相比，具有更好性能的更高压模型。

本文提出了一种用于端到端现场文本识别的新颖培训方法。端到端的场景文本识别提供高识别精度，尤其是在使用基于变压器的编码器 - 解码器模型时。要培训高度准确的端到端模型，我们需要为目标语言准备一个大型图像到文本配对数据集。但是，很难收集这些数据，特别是对于资源差的语言。为了克服这种困难，我们所提出的方法利用富裕的大型数据集，以资源丰富的语言，如英语，培训资源差的编码器解码器模型。我们的主要思想是建立一个模型，其中编码器反映了多种语言的知识，而解码器专门从事资源差的语言。为此，所提出的方法通过使用组合资源贫乏语言数据集和资源丰富的语言数据集的多语言数据集来预先培训编码器，以学习用于场景文本识别的语言不变知识。所提出的方法还通过使用资源贫乏语言的数据集预先列举解码器，使解码器更适合资源较差的语言。使用小型公共数据集进行日本现场文本识别的实验证明了该方法的有效性。

本文提出了一种用于对话序列标记的新型知识蒸馏方法。对话序列标签是监督的学习任务，估计目标对话文档中每个话语的标签，并且对于许多诸如对话法估计的许多应用是有用的。准确的标签通常通过分层结构化的大型模型来实现，这些大型模型组成的话语级和对话级网络，分别捕获话语内和话语之间的上下文。但是，由于其型号大小，因此无法在资源受限设备上部署此类模型。为了克服这种困难，我们专注于通过蒸馏了大型和高性能教师模型的知识来列举一个小型模型的知识蒸馏。我们的主要思想是蒸馏知识，同时保持教师模型捕获的复杂环境。为此，所提出的方法，等级知识蒸馏，通过蒸馏来列举小型模型，而不是通过培训模型在教师模型中培训的话语水平和对话级环境的知识模拟教师模型在每个级别的输出。对话法案估算和呼叫场景分割的实验证明了该方法的有效性。

保护用户免受访问恶意网站的是网络运营商的重要管理任务之一。有许多开源和商业产品来控制用户可以访问的网站。最传统的方法是基于黑名单的过滤。这种机制简单但不可扩展，尽管使用模糊匹配技术存在一些增强的方法。其他方法尝试通过从URL字符串中提取功能来使用机器学习（ML）技术。这种方法可以覆盖更广泛的互联网网站区域，但找到了良好的功能需要深入了解网站设计的趋势。最近，出现了使用深度学习（DL）的另一种方法。 DL方法将有助于通过调查大量现有的示例数据自动提取功能。使用此技术，我们可以通过继续教导近期趋势的神经网络模块来构建灵活的过滤决策模块，而没有URL域的任何特定专家知识。在本文中，我们应用了从URL字符串生成特征向量的机械方法。我们实施了我们的方法，并使用了从研究组织和来自着名的网络钓鱼网站信息信息，Phishtank.com获取的现实URL访问历史记录数据。与现有的基于DL的方法相比，我们的方法可以获得2〜3％的更好的准确性。

配置不正确的域名系统（DNS）服务器有时用作数据包反射器，作为DOS或DDOS攻击的一部分。通过监视DNS请求和响应流量，可以逻辑地逻辑地检测作为此活动的结果创建的分组。任何没有相应请求的响应都可以被视为反射消息;然而，检查和跟踪每个DNS数据包是非微不足道的操作。在本文中，我们提出了一种通过使用从少量数据包和机器学习算法构建的DNS服务器特征矩阵用作反射器的DNS服务器的检测机制。当在同一天生成测试和培训数据时，错误DNS服务器检测的F1评分大于0.9，并且对于不用于同一天的培训和测试阶段的数据，超过0.7。

Parallel evolutionary algorithms (PEAs) have been studied for reducing the execution time of evolutionary algorithms by utilizing parallel computing. An asynchronous PEA (APEA) is a scheme of PEAs that increases computational efficiency by generating a new solution immediately after a solution evaluation completes without the idling time of computing nodes. However, because APEA gives more search opportunities to solutions with shorter evaluation times, the evaluation time bias of solutions negatively affects the search performance. To overcome this drawback, this paper proposes a new parent selection method to reduce the effect of evaluation time bias in APEAs. The proposed method considers the search frequency of solutions and selects the parent solutions so that the search progress in the population is uniform regardless of the evaluation time bias. This paper conducts experiments on multi-objective optimization problems that simulate the evaluation time bias. The experiments use NSGA-III, a well-known multi-objective evolutionary algorithm, and compare the proposed method with the conventional synchronous/asynchronous parallelization. The experimental results reveal that the proposed method can reduce the effect of the evaluation time bias while reducing the computing time of the parallel NSGA-III.

Recent deep learning approaches for representation learning on graphs follow a neighborhood aggregation procedure. We analyze some important properties of these models, and propose a strategy to overcome those. In particular, the range of "neighboring" nodes that a node's representation draws from strongly depends on the graph structure, analogous to the spread of a random walk. To adapt to local neighborhood properties and tasks, we explore an architecture -jumping knowledge (JK) networks -that flexibly leverages, for each node, different neighborhood ranges to enable better structure-aware representation. In a number of experiments on social, bioinformatics and citation networks, we demonstrate that our model achieves state-of-the-art performance. Furthermore, combining the JK framework with models like Graph Convolutional Networks, GraphSAGE and Graph Attention Networks consistently improves those models' performance.